ocr在线图片文字识别 |
您所在的位置：网站首页 › 大象 动物 › ocr在线图片文字识别 |
ocr在线图片文字识别
|
ocr在线图片文字识别_文字场景是什么意思
思创斯忠实用户-ss • 2023年3月28日 09:00 • 未分类 ocr在线图片文字识别_文字场景是什么意思CTPN前言需阅读faster-rcnn相关摘要问题分析文字目标的特殊性，一个很大的先验是，文字总是水平排列的。文字的特征总感觉体现在edge上。自然场景文字检测的难点在于：小目标，遮挡，仿射畸变。本文使用VGG16，只使用conv5，可能对小文字的检测效果不好。文本检测和一般目标检测的不同——文本线是一个sequence（字符、字符的一部分、多字符组成的一个s… 大家好，我是你的好朋友思创斯。今天说一说ocr在线图片文字识别_文字场景是什么意思,希望您对编程的造诣更进一步. CTPN 前言 需阅读faster-rcnn相关 摘要问题分析 文字目标的特殊性，一个很大的先验是，文字总是水平排列的。文字的特征总感觉体现在edge上。 自然场景文字检测的难点在于：小目标，遮挡，仿射畸变。本文使用VGG16，只使用conv5，可能对小文字的检测效果不好。 文本检测和一般目标检测的不同——文本线是一个sequence（字符、字符的一部分、多字符组成的一个sequence），而不是一般目标检测中只有一个独立的目标。这既是优势，也是难点。优势体现在同一文本线上不同字符可以互相利用上下文，可以用sequence的方法比如RNN来表示。难点体现在要检测出一个完整的文本线，同一文本线上不同字符可能差异大，距离远，要作为一个整体检测出来难度比单个目标更大。 因此，作者认为预测文本的竖直位置（文本bounding box的上下边界）比水平位置（文本bounding box的左右边界）更容易。 Top-down（先检测文本区域，再找出文本线）的文本检测方法比传统的bottom-up的检测方法（先检测字符，再串成文本线）更好。自底向上的方法的缺点在于没有考虑上下文，不够鲁棒，系统需要太多子模块，太复杂且误差逐步积累，性能受限。 本文工作基于faster RCNN , 区别在于 改进了rpn，anchor产生的window的宽度固定为3。 rpn后面不是直接接全连接+分类/回归，而是再通过一个LSTM，再接全连接层。 坐标仅仅回归一个y，而不是x1, y1, x2, y2 添加 side-refinement offsets（可能这个就是4个回归值中的其中2个)本文中利用RNN和CNN的无缝结合可以提高检测精度。CNN用来提取深度特征，RNN用来序列的特征识别（2类），二者无缝结合，用在检测上性能更好。 具体的说，作者的基本想法就是去预测文本的竖直方向上的位置，水平方向的位置不预测。因此作者提出了一个vertical anchor的方法。与faster rcnn中的anchor类似，但是不同的是，vertical anchor的宽度都是固定好的了，论文中的大小是16个像素。而高度则从11像素到273像素变化，总共10个anchor. 同时，对于水平的文本行，其中的每一个文本段之间都是有联系的，因此作者采用了CNN+RNN的一种网络结构，检测结果更加鲁棒。RNN和CNN的无缝结合可以提高检测精度。CNN用来提取深度特征，RNN用来序列的特征识别（2类），二者无缝结合，用在检测上性能更好。 基于检测的方法能很好地解决水平文字的检测问题，缺点是对于非水平的文字不能检测。 网络结构为RPN，针对文字检测的特点做了一些修改，最重要的有两点， 一是改变了判断正负样本的方法，不同于物体检测，文字检测中proposal如果只框住了一行文字中的几个文字其实也算正样本，而用IOU计算的话会被当成负样本，所以判断正负样本只需要计算proposal与ground truth高度的overlap就可以了。 第二点是anchor的选取，既然我们判断正负样本的时候不考虑宽度，自然选anchor的时候也不用选择不同宽度的了，只需要固定宽度然后根据具体任务选择几个合适的高度就可以了。其他地方和RPN基本一样。 基本过程
整个检测分六步： 第一，首先，使用VGG16作为base net提取特征，得到conv5_3的特征作为feature map，大小是W×H×C； 第二，然后在这个feature map上做滑窗，窗口大小是3×3。也就是每个窗口都能得到一个长度为3×3×C的特征向量。这个特征向量将用来预测和10个anchor之间的偏移距离，也就是说每一个窗口中心都会预测出10个text propsoal。 第三，将每一行的所有窗口对应的3*3*C的特征（W*3*3*C）输入到RNN（BLSTM）中，得到W*256的输出； 第四，将RNN的W*256输入到512维的fc层； 第五，fc层特征输入到三个分类或者回归层中。 第二个2k scores 表示的是k个anchor的类别信息（是字符或不是字符）。第一个2k vertical coordinate和第三个k side-refinement是用来回归k个anchor的位置信息。2k vertical coordinate因为一个anchor用的是中心位置的高（y坐标）和矩形框的高度两个值表示的，所以一个用2k个输出。（注意这里输出的是相对anchor的偏移），k个side-refinement这部分主要是用来精修文本行的两个端点的，表示的是每个proposal的水平平移量。这边注意，只用了3个参数表示回归的bounding box，因为这里默认了每个anchor的width是16，且不再变化（VGG16的conv5的stride是16）。回归出来的box如Fig.1中那些红色的细长矩形，它们的宽度是一定的。 第六，这是会得到密集预测的text proposal，所以会使用一个标准的非极大值抑制算法来滤除多余的box。 第七，用简单的文本线构造算法，把分类得到的文字的proposal（图Fig.1（b）中的细长的矩形）合并成文本线。 网络结构
k个anchor尺度和长宽比设置 宽度都是16，k = 10，高度从11~273（每次除于0.7） 回归的高度和bounding box的中心的y坐标如下，带*的表示是groundTruth，带a的表示是anchor Side-refinement 文本线构造算法（多个细长的proposal合并成一条文本线） 主要思想：每两个相近的proposal组成一个pair，合并不同的pair直到无法再合并为止（没有公共元素） 判断两个proposal，Bi和Bj组成pair的条件： Bj->Bi， 且Bi->Bj。（Bj->Bi表示Bj是Bi的最好邻居） Bj->Bi条件1：Bj是Bi的邻居中距离Bi最近的，且该距离小于50个像素 Bj->Bi条件2：Bj和Bi的vertical overlap大于0.7 训练对于每一张训练图片，总共抽取128个样本，64正64负，如果正样本不够就用负样本补齐。这个和faster rcnn的做法是一样的。 训练图片都将短边放缩到600像素。 问题 没有很好地处理多方向的文本行 训练的时候由于有regression和LSTM，需要小心控制梯度爆炸。 正如上文所提的，这个网络预测的是一些固定宽度的text proposal，所以真值也应该按照这样来标注。但是一般数据库给的都是整个文本行或者单词级别的标注。因此需要把这些标注转换成一系列固定宽度的box。 整个repo是基于RBG大神的faster rcnn改的，所以根据他的输入要求。要再将数据转换为voc的标注形式 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。文章由思创斯整理,转载请注明出处：https://ispacesoft.com/115681.html 赞 (0) 思创斯忠实用户-ss
0 0 生成海报
|
【本文地址】